#instruction tuning

8 篇

Self-Preservation in Language Models

语言模型中的自我保存

🧭 持续学习 · 自生成重放防遗忘

New York University · Google Research · Cornell University

用 Task Bank 与自生成重放实现更广泛的持续学习防遗忘，并证明模型可辅助选择重放目标

📌 工作参考价值（4 点）

在模型周期更新（如新增品类、场景）时，不要只保存固定旧任务样本，可让冻结的旧模型根据 Task Bank 自动生成重放数据，覆盖面更广，减少对原始训练数据的依赖。
用带权重/相关性的 Task Bank 选择重放目标：新任务知情的选择在 4B 模型上能提升旧能力保留率，但在小模型上不一定有效，业务小模型需谨慎验证。
监控“之前回答正确的样本的保留率”，而不仅是平均准确率；推荐/广告模型更新时也建议监控老用户、长尾场景的指标，防止平均指标掩盖遗忘。
在固定示例预算下，可以用少量新任务样本换取更多重放样本，以旧能力稳定为优先；对线上稳定性要求高的场景（如广告出价、搜索排序）更适用。

Training | 2026-10-07 | HF Daily | score 7/10

OmniEdu: Open Foundation Models for Learning and Teaching

OmniEdu：面向学习与教学的开放基础模型

🧭 教育 LLM 能力导向指令微调

Peking University · University of the Chinese Academy of Sciences · Zhongguancun Academy

以能力平衡的指令微调语料构建教育基础模型，在K-12解题、课程定位与教学辅导上全面提升

📌 工作参考价值（4 点）

能力导向的数据组织可迁移到电商/推荐 LLM：按“商品理解/意图预测/解释生成/干预策略”等能力划分 instruction 数据，而不是按任务来源混合；用 token 预算做多样性采样，防止长尾能力被高频任务淹没。
多阶段数据质控流水线值得复用：确定性规则清洗 + 语义审计重写 + 任务特定质量评分，能显著降低垂直领域微调数据噪声；在电商搜索/推荐场景，可先用 LLM 对候选样本做语义评分，再按预算筛选。
领域数据与通用 instruction 混合（100+ 教育资源 + 通用指令）保持通用能力，避免灾难性遗忘；电商垂直 LLM 微调时可参考类似配比，保留通用对话与推理能力。
分尺度验证（4B/9B/27B）说明数据策略在不同模型规模上稳定有效，业务选型时可先用小模型快速验证数据配方，再扩展到更大模型。

Training | 2026-09-18 | HF Daily | score 6/10

instruction tuning data curation educational LLM capability-oriented synthetic data

MINT: A Universal Zero-Shot Predictor for Transaction Data

MINT：交易数据的通用零样本预测器

🧭 多模态交易推理 · 嵌入注入 LLM ★ 深度解读

Visa Inc.

用冻结交易序列编码器+LoRA适配LLM，通过嵌入注入实现高效零样本预测问答

📌 工作参考价值（4 点）

行为序列嵌入注入代替文本拼接：电商/推荐系统用户行为序列长、token 多，可预训练行为序列编码器生成紧凑嵌入，只训练 connector + LoRA，显著降低输入 token、在线延迟与显存，适合实时排序或用户表征注入 LLM 生成解释。
两阶段训练：先模态对齐（行为摘要 caption）再指令微调（QA + CoT 混合），提升 OOD 泛化。业务中构建预测/归因类任务时，可合成行为摘要和推理链，增强模型对未见问题的能力。
按任务类型选择表示：预测性任务用嵌入更好，提取式/事实查询用文本序列更优。推荐系统做可解释推荐或问答时，可根据是预测未来兴趣还是检索历史事实选择输入模态，或采用混合策略。
LoRA 适配可插拔：领域特化会损失通用能力，但 PEFT 允许禁用 adapter 恢复 base LLM。部署时保留通用与垂直两套模式，切换成本极低。

Multimodal | 2026-08-14 | cs.CL | score 8/10

transaction embeddings multimodal LLM zero-shot prediction instruction tuning LoRA sequence encoder

Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity

你确定吗？指令微调对置信度和词汇多样性的影响

🧭 指令微调改变置信度与 rationale 多样性

Cohere Labs Community · Laboratoire Hubert Curien, UMR CNRS 5516, Saint-Étienne, France · School of Computer Science Engineering and Technology (SCSET), Bennett University, Greater Noida, India · School of Physical Therapy, Faculty of Health Sciences, Western University, London, Canada

在问答基准上评估匹配基座与指令微调模型，发现指令微调一致改变置信度但非均匀改变 rationale 词汇多样性

📌 工作参考价值（4 点）

在电商/推荐场景用 LLM 生成推荐理由或解释时，指令微调后的模型 verbalized confidence 可能系统性偏高，与真实准确率脱钩；上线前需要额外做 confidence calibration，不要直接采信模型自述置信度。
若用 LLM 批量生成商品卖点、用户 push 文案，需监控跨样本 rationale 多样性：指令微调可能使生成内容趋于同质化，建议引入多样性约束或后处理去重。
将 surface-level 词汇多样性（如 Unique-2）作为生成多样性监控指标时，注意它可能与语义多样性（cross-rationale diversity）不同向变化；最好同时监控两类指标，避免误判。
在 Agent 链路中让 LLM 输出思考过程或理由时，指令微调带来的置信度变化可能影响下游决策；可在 prompt 中要求模型更客观地报告不确定性，或使用 logit-based 校准替代 verbalized confidence。

Eval | 2026-08-12 | HF Daily | score 6/10

instruction tuning confidence calibration lexical diversity question answering LLM evaluation

Listwise Cross-Encoder Fine-Tuning vs. Agentic Instruction Tuning for LLM Rerankers: A Systematic Study in Medical Procedure Reranking

列表级交叉编码器微调与代理式指令微调的LLM重排序对比研究

🧭 重排序系统 · 小模型微调 vs 大模型指令调优

Healthee

109M参数的交叉编码器微调ListNet后，NDCG@3比4B指令重排序模型高2.6点，参数仅1/37

📌 工作参考价值（4 点）

在电商搜索/推荐重排序中，若资源及延迟敏感，可优先考虑小参数交叉编码器+ListNet 微调，性能可能反超大模型。
利用 GPT-4 等大模型自动构建查询-商品/文档对的数据集管道，可低成本构建领域训练数据。
代理式提示优化（agentic prompt optimization）的思路可迁移至推荐系统提示工程，自动化调优 LLM 重排序器的提示词。
部署时权衡延迟——小模型推理成本低，适合实时重排序；大模型可留作离线评估或数据生成。

RecSys | 2026-08-10 | cs.IR | score 7/10

reranking cross-encoder instruction tuning listwise LTR medical IR scalability

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

利用指令微调与模型合并实现推理模型低成本领域适应

🧭 推理模型适应 · 指令微调+合并

ETH Zurich

先指令微调再与原始推理模型合并，低成本提升在难验证领域的性能

📌 工作参考价值（4 点）

若拥有特定领域的高质量SFT数据（如电商搜索意图、商品摘要），可对推理模型进行无推理痕迹的指令微调，再与原模型合并，以极低成本（<3美元）提升该领域效果，同时保留推理能力。
模型合并技巧可作为一种轻量领域适应方案，避免灾难性遗忘，适合在资源有限时快速迭代测试。
对于缺乏可靠自动评估的生成式推荐或Agent任务，可考虑用人类标注数据微调再合并，绕开难以设计的奖励函数。
方法简单稳健，适合嵌入现有LLM微调流水线，作为RLVR训练前的快速实验步骤。

LLM | 2026-07-16 | cs.CL | score 7/10

instruction tuning model merging reasoning models domain adaptation cost-effective

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

零资源语言LLM代码生成：评估与改进策略

🧭 LLM 适配零资源代码生成

针对零资源编程语言，通过权重差异迁移法在基础模型上注入指令跟随能力，实现低成本专用代码模型部署

📌 工作参考价值（4 点）

若业务中存在专有查询语言或领域特定语言（如内部配置DSL、搜索表达式），可以借鉴“基础模型继续预训练+权重差异迁移”的方式，低成本适配LLM，无需昂贵的指令微调
在对指令跟随要求高的场景（如Agent任务规划、推荐理由生成），避免直接在指令模型上做进一步预训练，以防损害其指令能力，而是采用先预训练再注入指令能力的两阶段策略
构建内部低资源语言基准时，可复用论文的基准构建思路：从有限代码库中提取函数签名、文档字符串和测试用例，自动化生成评测集
该方法模型与数据均轻量，适合资源受限的团队，可用于快速验证新语言或新领域的LLM生成效果

LLM | 2026-06-14 | HF Daily | score 6/10

code generation no-resource language weight diff transfer instruction tuning benchmark

Decomposing Factual Sycophancy in Language Models: How Size and Instruction Tuning Shape Robustness

分解事实性谄媚：模型大小与指令微调如何塑造LLM鲁棒性

🧭 LLM事实性谄媚的机制分解与评估

University of Antwerp

将事实性谄媚分解为真理裕度和操纵敏感性，揭示模型大小与指令微调方向性相反的影响

📌 工作参考价值（4 点）

事实可靠性诊断：在电商客服或推荐Agent中，面对用户错误输入时，模型可能产生事实谄媚。可借鉴真理裕度与操纵敏感性的分解方法，设计专项评估来诊断模型容易在哪种压力下翻转答案，而非仅看最终准确率。
模型选型与微调策略：研究发现小模型指令微调后可能降低事实鲁棒性，而大模型提升。在选择搜索/推荐系统的基座LLM时，需按参数量区分微调影响，小模型若需指令跟随能力，应加强事实性对抗训练。
评估指标细粒度：在生成式推荐中评估内容真实性时，避免只使用整体翻转率。可报告按操纵类型和模型大小分层的真理裕度与敏感度，以便定位系统漏洞是源于基础事实知识弱还是易被用户诱导。
Agent防护机制：对于多轮对话Agent，真理裕度低可能导致累积错误。可在架构中加入外部事实检索（如RAG）来提升基线真理裕度，降低操纵敏感性。

LLM | 2026-06-04 | cs.CL | score 7/10

factual sycophancy truth margin manipulation sensitivity instruction tuning model scaling robustness